. להעביר את הנתונים באמצעות Oracle Publishing - סוג של רפליקציה ב-SQL Server, רק שהמקור שלה הוא אורקל.
2. ליצור SSIS שמעביר את הנתונים מהאורקל טבלה אחרי טבלה, תוך שמירה של ה-ID או התאריך האחרון שהגענו אליו. בפעם הבאה שהתהליך ירוץ, הוא לא ייקח את כל הנתונים אלא רק את מה שהתווסף.
3. פתרון מעניין של Attunity שנחשפתי אליו לאחרונה, פירוט בהמשך.
הרפליקציה היא פתרון מצויין וכבר יצא לנו ליישם אותו במספר מקומות. הנקודה הבעייתית העיקרית שלו היא כזו:
מנגנון זיהוי השינויים באורקל מתבסס על טריגרים, והוא יוצר טבלאות מערכת עליו כדי לשמור את השינויים. זה לא ממש משפיע על הביצועים (2-3% במקרה הגרוע לפי הערכות שלנו בפרויקטים שביצענו). אבל לך תגיד ל-DBA של אורקל שאתה שם לו טריגרים במערכת והוא ישר זורק אותך מהחדר. אז זה לא show stopper, אבל הרבה פרויקטים לא יילכו לכיוון של רפליקציה בגלל פוליטיקה פנים ארגונית.
הפתרון ב-SSIS דורש ניהול של כל טבלה ורישום של המיקום שעד אליו הגענו בפעם הקודמת. חסרון נוסף ומשמעותי הוא שקשה לנהל העברת עדכונים (אם רצים על ה-ID למשל, אז אנחנו יודעים לקחת רק את השורות שהתווספו אבל לא יודעים מה השתנה או נמחק).
לאחרונה נתקלתי בפתרון מעניין שהוא שילוב של היתרונות בשתי השיטות. מדובר ברכיב תוכנה של חברת Attunity (חברה ישראלית, אגב) שנקרא Oracle-CDC for SSIS. המוצר יודע לזהות את ה-Delta בצד של האורקל באמצעות ריצה על ה-redo log וה-archive log בדומה לרפליקציה של אורקל עצמם. אין כמעט השפעה על הביצועים ולא צריך לבנות טריגרים או אובייקטים אחרים בצד של האורקל.
הנה עוד מידע שקיבלתי ממנחם ברוק, מנכ"ל Attunity:
אטיוניטי שחררה תוכנת איתור שינויים באורקל עבור משתמשי מיקרוסופט SQL SERVER
הפתרון משולב ב- SSIS ומספק שילוב נתונים קל, יעיל, ובזמן אמת.
אטיוניטי, ספקית תוכנה לגישה ושילוב של נתונים ארגוניים, משיקה גירסת יצור של Attunity Oracle-CDC for SSIS, תוכנה המספקת את הפתרון המתקדם ביותר לשכפול ושילוב נתוני אורקל בזמן אמת באמצעות SQL Server Integration Services. ארגונים ומפתחים מוזמנים להצטרף ולהוריד גרסא לניסוי ב: www.attunity.com/oracle_cdc_for_ssis.
שילוב נתונים הוא אתגר ידוע של מחלקות IT בכלל ובינה עיסקית (BI) בפרט, ואתגר ההופך מורכב יותר ככל שנפחי המידע גדלים בו בזמן שמשתמשים דורשים מידע עדכני יותר, וכל זאת תוך לחץ מתמיד לשיפור יעילות והורדת עלויות. טכנולוגית איתור שינויים (change data capture - CDC) מספקת דרך לענות לאתגרים אלו, על ידי איתור ועיבוד של השינויים במסדי נתונים בלבד, באופן יעיל ולא פולשני.
Attunity Oracle-CDC for SSIS הוא הפתרון המלא הראשון והיחידי בשוק לאיתור ושילוב של שינויים במסדי נתונים של אורקל באמצעות SSIS, ביעילות ובזמן אמת. המוצר, אשר תוכנן ושולב באופן ייעודי ל- SSIS מפשט את היצירה של פתרונות CDC, מקצר זמני פיתוח, ומקטין משמעותית את המשאבים הנדרשים ואת העלות הכוללת. בנוסף, המוצר משתמש בטכנולוגיית log-based CDC אשר מורידה למינימום את ההשפעה והתקורה על מערכת האורקל ממנה נגזרים הנתונים.
Attunity Oracle-CDC for SSIS תומך בגרסאות 2005 ו- 2008 של SQL Server ומאפשר ללקוחות פלטפורמת ה- BI של מיקרוסופט ליישם במהירות פתרונות לשכפול נתונים, סנכרון מערכות, ובניית מחסני נתונים אופרטיביים, תוך מינוף השקעות קיימות ב- SQL Server. המוצר תומך ב גרסאות 9i, , 10gו 11g של אורקל
לקוחות SQL Server 2008 כבר נהנים היום מטכנולוגיית אטיוניטי שאותה מפיצה מיקרוסופט, המאפשרת גזירת מידע מאורקל לצרכי BULK ETL. המוצר החדש משלים את היכולות הללו עם אינטגרציה מבוססת CDC ומאפשר לארגוני IT ו- BI להתמודד עם מגוון הדרישות השונות של משתמשי הארגון ולקוחותיו.
איתמר אנקוריון, מנהל המוצרים של אטיוניטי מוסיף כי "כחלוצים בטכנולוגיות CDC וכשותפים של מיקרוסופט, אנחנו שמחים עם ההזדמנות לספק לקהילה הגדולה של משתמשי מיקרוסופט ואורקל את פתרון ה- CDC ולאפשר לארגונים לייעל תהליכים של שילוב נתונים ולענות על צרכי המשתמשים למידע זמין ועדכני."
2. ליצור SSIS שמעביר את הנתונים מהאורקל טבלה אחרי טבלה, תוך שמירה של ה-ID או התאריך האחרון שהגענו אליו. בפעם הבאה שהתהליך ירוץ, הוא לא ייקח את כל הנתונים אלא רק את מה שהתווסף.
3. פתרון מעניין של Attunity שנחשפתי אליו לאחרונה, פירוט בהמשך.
הרפליקציה היא פתרון מצויין וכבר יצא לנו ליישם אותו במספר מקומות. הנקודה הבעייתית העיקרית שלו היא כזו:
מנגנון זיהוי השינויים באורקל מתבסס על טריגרים, והוא יוצר טבלאות מערכת עליו כדי לשמור את השינויים. זה לא ממש משפיע על הביצועים (2-3% במקרה הגרוע לפי הערכות שלנו בפרויקטים שביצענו). אבל לך תגיד ל-DBA של אורקל שאתה שם לו טריגרים במערכת והוא ישר זורק אותך מהחדר. אז זה לא show stopper, אבל הרבה פרויקטים לא יילכו לכיוון של רפליקציה בגלל פוליטיקה פנים ארגונית.
הפתרון ב-SSIS דורש ניהול של כל טבלה ורישום של המיקום שעד אליו הגענו בפעם הקודמת. חסרון נוסף ומשמעותי הוא שקשה לנהל העברת עדכונים (אם רצים על ה-ID למשל, אז אנחנו יודעים לקחת רק את השורות שהתווספו אבל לא יודעים מה השתנה או נמחק).
לאחרונה נתקלתי בפתרון מעניין שהוא שילוב של היתרונות בשתי השיטות. מדובר ברכיב תוכנה של חברת Attunity (חברה ישראלית, אגב) שנקרא Oracle-CDC for SSIS. המוצר יודע לזהות את ה-Delta בצד של האורקל באמצעות ריצה על ה-redo log וה-archive log בדומה לרפליקציה של אורקל עצמם. אין כמעט השפעה על הביצועים ולא צריך לבנות טריגרים או אובייקטים אחרים בצד של האורקל.
הנה עוד מידע שקיבלתי ממנחם ברוק, מנכ"ל Attunity:
אטיוניטי שחררה תוכנת איתור שינויים באורקל עבור משתמשי מיקרוסופט SQL SERVER
הפתרון משולב ב- SSIS ומספק שילוב נתונים קל, יעיל, ובזמן אמת.
אטיוניטי, ספקית תוכנה לגישה ושילוב של נתונים ארגוניים, משיקה גירסת יצור של Attunity Oracle-CDC for SSIS, תוכנה המספקת את הפתרון המתקדם ביותר לשכפול ושילוב נתוני אורקל בזמן אמת באמצעות SQL Server Integration Services. ארגונים ומפתחים מוזמנים להצטרף ולהוריד גרסא לניסוי ב: www.attunity.com/oracle_cdc_for_ssis.
שילוב נתונים הוא אתגר ידוע של מחלקות IT בכלל ובינה עיסקית (BI) בפרט, ואתגר ההופך מורכב יותר ככל שנפחי המידע גדלים בו בזמן שמשתמשים דורשים מידע עדכני יותר, וכל זאת תוך לחץ מתמיד לשיפור יעילות והורדת עלויות. טכנולוגית איתור שינויים (change data capture - CDC) מספקת דרך לענות לאתגרים אלו, על ידי איתור ועיבוד של השינויים במסדי נתונים בלבד, באופן יעיל ולא פולשני.
Attunity Oracle-CDC for SSIS הוא הפתרון המלא הראשון והיחידי בשוק לאיתור ושילוב של שינויים במסדי נתונים של אורקל באמצעות SSIS, ביעילות ובזמן אמת. המוצר, אשר תוכנן ושולב באופן ייעודי ל- SSIS מפשט את היצירה של פתרונות CDC, מקצר זמני פיתוח, ומקטין משמעותית את המשאבים הנדרשים ואת העלות הכוללת. בנוסף, המוצר משתמש בטכנולוגיית log-based CDC אשר מורידה למינימום את ההשפעה והתקורה על מערכת האורקל ממנה נגזרים הנתונים.
Attunity Oracle-CDC for SSIS תומך בגרסאות 2005 ו- 2008 של SQL Server ומאפשר ללקוחות פלטפורמת ה- BI של מיקרוסופט ליישם במהירות פתרונות לשכפול נתונים, סנכרון מערכות, ובניית מחסני נתונים אופרטיביים, תוך מינוף השקעות קיימות ב- SQL Server. המוצר תומך ב גרסאות 9i, , 10gו 11g של אורקל
לקוחות SQL Server 2008 כבר נהנים היום מטכנולוגיית אטיוניטי שאותה מפיצה מיקרוסופט, המאפשרת גזירת מידע מאורקל לצרכי BULK ETL. המוצר החדש משלים את היכולות הללו עם אינטגרציה מבוססת CDC ומאפשר לארגוני IT ו- BI להתמודד עם מגוון הדרישות השונות של משתמשי הארגון ולקוחותיו.
איתמר אנקוריון, מנהל המוצרים של אטיוניטי מוסיף כי "כחלוצים בטכנולוגיות CDC וכשותפים של מיקרוסופט, אנחנו שמחים עם ההזדמנות לספק לקהילה הגדולה של משתמשי מיקרוסופט ואורקל את פתרון ה- CDC ולאפשר לארגונים לייעל תהליכים של שילוב נתונים ולענות על צרכי המשתמשים למידע זמין ועדכני."
שחר בר
חברת ואלינור
http://www.valinor.co.il
http://www.sqlserver.co.il
LinkedIn - SQLServer Valinor
חברת ואלינור
http://www.valinor.co.il
http://www.sqlserver.co.il
LinkedIn - SQLServer Valinor
